Miller sinh ra ở Luân Đôn, Anh và lớn lên ở Nantwich, Cheshire.[cần dẫn nguồn] Ông nội của ông là một thợ may người Do thái người Litva di cư sang Anh và sống ở East End của Luân Đôn.[2][cần nguồn tốt hơn] Anh ta Anh hóa họ của mình. Cha của Ben, Michael Miller, là một giảng viên trong Văn học Mỹ tại City of Birmingham Polytechnic; và mẹ anh Marion đến từ xứ Wales, con gái lớn của Rose Elizabeth Lincoln, cháu gái thứ tám của Samuel Lincoln, và dạy tiếng Anh tại South Cheshire College.[2][cần nguồn tốt hơn] He has two younger sisters, Leah and Bronwen.[cần dẫn nguồn]

Miller học tại Malbank School and Sixth Form College, trường trung học địa phương anh học ở Nantwich, Cheshire. Anh học Khoa học tự nhiên tại Học viện St Catharine, Cambridge. Khi còn là sinh viên, anh đã tham gia diễn xuất sân khấu với Rachel Weisz, và cũng hẹn hò với cô.[3][4] Anh tiếp tục học ở Cambridge nghiên cứu sinh tiến sỹ vật lý trạng thái rắn,[5] với đề tài Novel quantum effects in low-temperature quasi-zero-dimensional mesoscopic electron systems.[6][7]